Uma equipe de pesquisa da Universidade de Nova York, MIT e Google apresentou recentemente uma estrutura inovadora para abordar o gargalo do tempo de inferência em modelos de difusão. Essa pesquisa inovadora vai além dos métodos tradicionais de simplesmente aumentar as etapas de denoising, abrindo novos caminhos para melhorar o desempenho dos modelos geradores. A estrutura se concentra em duas dimensões principais: usar um validador para fornecer feedback e implementar um algoritmo para encontrar melhores candidatos a ruído. A equipe de pesquisa usou um modelo SiT-XL pré-treinado com resolução de 256×256 como base, mantendo 250 etapas fixas de denoising...

Na área da inteligência artificial, o Infinity, o mais recente desenvolvimento da equipe de tecnologia de comercialização da ByteDance, tornou-se o novo líder na geração de imagens a partir de texto autorregressivo, graças ao seu desempenho excepcional e tecnologia inovadora. Este novo modelo de código aberto não apenas supera o Stable Diffusion 3 na qualidade da geração de imagens, mas também demonstra uma vantagem significativa na velocidade de inferência. A inovação central do modelo Infinity reside no uso da estrutura autorregressiva Bitwise Token, que prevê a próxima resolução através da adição ou subtração de 1 (+1 ou -1).

No campo da geração de imagens a partir de texto, os modelos de difusão demonstraram capacidades extraordinárias, mas ainda apresentam algumas deficiências na geração de imagens estéticas. Recentemente, uma equipe de pesquisa da ByteDance e da Universidade de Ciência e Tecnologia da China propôs uma nova tecnologia chamada "Cross-Attention Value Mixing Control" (VMix), um adaptador projetado para melhorar a qualidade das imagens geradas e manter a generalidade para vários conceitos visuais. A ideia central do adaptador VMix reside no design de um controle condicional superior...

Pesquisadores da Universidade de Hong Kong e da Tencent propuseram um novo paradigma de sistema de recomendação multimodal - DiffMM - para melhorar a precisão das recomendações de vídeos curtos. O sistema cria um gráfico contendo informações de usuários e vídeos e utiliza técnicas de difusão de gráficos e aprendizado contrastivo para melhor entender a relação entre usuários e vídeos, resultando em recomendações mais precisas.